Ground Truth First: A Longitudinal Evaluation Instrument for Agent Memory, and the Tenure Crossover in Memory-Architecture Rankings
先验事实:智能体记忆的纵向评估工具与架构排名逆转
🧭 Agent 记忆评估基准与架构反转
Independent Researcher
提出反转生成流水线的评测基准,揭示记忆架构排名随对话历史长度反转,开源分层记忆库Veracium
📌 工作参考价值(4 点)
- 长期Agent场景(如客服、推荐对话)中,记忆架构需要按信息时效与来源分层,可借鉴「分层图记忆」(provenance-typed graph)设计,区分事实有效期和发送/接收信任度,避免简单 LRU 淘汰。
- 构建记忆评测时,采用“先事实后对话”的生成流水线,机械式出题可杜绝标签泄漏,并且植入时间衰减、注入干扰等特性,更真实模拟业务中持续更新的用户画像。
- 写入质量直接决定下游问答准确率(弱写事实失败率24% vs. 干净写2%),在记录用户交互(如购物偏好、咨询历史)时,务必保证写入端的清晰度与完整性。
- 短历史评测会误导架构选择,需结合长期(如数周)对话累积进行压测;全量历史回读虽然短期有效,但成本高且不持久,工程上可优先采用分层记忆实现高性价比。